Bánh velvet được cho là bắt nguồn từ thời Victoria. Trong thời đại đó, họ phục vụ bánh velvet như một món tráng miệng lạ mắt. Thuật ngữ "velvet" ("nhung") là một cách mô tả được sử dụng nhằm cho người tiêu dùng biết món tráng miệng là một loại bánh mềm và mịn. Trong thời gian đó, loại bánh devil's food được giới thiệu, đó là cách mà một số người tin rằng loại bánh red velvet xuất hiện. Sự khác biệt giữa hai loại bánh là bánh devil's food sử dụng chocolate, và red velvet sử dụng ca cao.[5]

Khi thực phẩm được chia khẩu phần trong Thế chiến II, các thợ làm bánh đã sử dụng nước ép củ dền đun sôi để tăng độ đậm màu sắc cho bánh của họ. Củ dền được tìm thấy trong một số công thức của red velvet. Củ dền đã và đang được sử dụng trong một số công thức để làm chất độn hoặc để giữ độ ẩm.[6] Adams Extract, một công ty từ Texas, được cho là đã mang red velvet đến các nhà bếp trên khắp nước Mỹ trong thời kỳ Đại suy thoái, bằng việc là một trong những người đầu tiên phân phối màu thực phẩm đỏ và chiết xuất hương vị khác với việc sử dụng áp phích tại quầy thanh toán và các thẻ công thức xé rời được.[7][8]

Bánh và công thức ban đầu của nó nổi tiếng ở Hoa Kỳ từ Khách sạn Waldorf-Astoria nổi tiếng của thành phố New York, nơi nó được mệnh danh là bánh Waldorf-Astoria. Tuy nhiên, nó được coi là một công thức tới từ miền Nam.[9] Theo truyền thống, red velvet được phủ với kem bơ roux kiểu Pháp (còn gọi là kem phủ ermine), rất nhẹ và mịn, nhưng tốn nhiều thời gian để chuẩn bị. Kem phủ từ pho mát kem (cream cheese) cũng như từ kem bơ là những biến thể ngày càng phổ biến.[10][11]

Tại Canada, loại bánh này là một món tráng miệng nổi tiếng trong các nhà hàng và tiệm bánh của chuỗi cửa hàng bách hóa Eaton's vào những năm 1940 và 1950. Được quảng bá như một công thức độc quyền của Eaton, với những nhân viên biết công thức tuyên thệ giữ im lặng, nhiều người đã lầm tưởng rằng chiếc bánh là phát minh của bà chủ cửa hàng bách hóa, Lady Eaton.[12]

Trong những năm gần đây, các loại bánh red velvet cũng như các loại red velvet cupcake trở nên ngày càng phổ biến tại Hoa Kỳ và nhiều nước châu Âu khác. Việc tái phổ biến trở lại của loại bánh này được một số người cho là bắt nguồn từ bộ phim Steel Magnolias (1989), trong đó có một chiếc bánh cưới red velvet cho chú rể (groom's cake) với hình dáng một con trút.[9] Magnolia Bakery ở Manhattan đã phục vụ món bánh này kể từ khi khai trương vào năm 1996, cũng như các nhà hàng nổi tiếng với phong cách ẩm thực miền Nam Hoa Kỳ như Amy Ruth's ở Harlem,[9] khai trương năm 1998.[13] Năm 2000,[14] Cake Man Raven đã mở một trong những tiệm bánh đầu tiên dành cho loại bánh này ở Brooklyn.[15]